Ellis sinh ra ở Pittsburgh, Pennsylvania và lớn lên ở quận Bronx của thành phố New York từ khi còn nhỏ. Ông bà nội của ông là người Do Thái nhập cư từ Đế quốc Nga,[6] trong khi ông ngoại của ông có nguồn gốc từ Galicia, Ba Lan thuộc Áo-Hungary. Ông là con cả trong gia đình có ba người con. Cha của Ellis, Harry, là một nhà môi giới, thường xuyên vắng nhà đi công tác, người được cho là chỉ thể hiện tình cảm ở mức độ vừa phải với các con của mình. Đến tuổi thiếu niên, cha mẹ Ellis ly hôn và ông sống với mẹ.[7]

Trong cuốn tự truyện của mình, Ellis mô tả mẹ của mình, Hattie, là một người phụ nữ tự thu mình với chứng rối loạn lưỡng cực. Đôi khi, theo Ellis, cô ấy là một "người nói chuyện náo nhiệt không bao giờ lắng nghe."Bà sẽ trình bày ý kiến mạnh mẽ của mình về hầu hết các chủ đề, nhưng hiếm khi đưa ra cơ sở thực tế cho những quan điểm này. Giống như cha mình, mẹ Ellis rất xa cách về mặt tình cảm với các con. Ellis kể lại rằng bà thường ngủ khi anh đi học và thường không về nhà khi anh trở về. Thay vì cảm thấy cay đắng, anh nhận trách nhiệm chăm sóc các em của mình. Ellis mua một chiếc đồng hồ báo thức bằng tiền của mình và thức dậy và mặc quần áo cho em trai và em gái của mình. Khi cuộc Đại suy thoái xảy ra, cả ba người con đều tìm việc làm để phụ giúp gia đình. Ellis ốm yếu khi còn nhỏ và gặp nhiều vấn đề sức khỏe trong suốt thời niên thiếu. Năm tuổi, ông phải nhập viện vì bệnh thận.[8] Ellis cũng phải nhập viện trong tình trạng viêm amidan dẫn đến nhiễm trùng liên cầu nặng phải phẫu thuật khẩn cấp. Ellis kể rằng ông đã có tám lần nhập viện trong độ tuổi từ năm đến bảy, một trong số đó kéo dài gần một năm. Cha mẹ ông rất ít hỗ trợ về mặt tinh thần cho anh trong suốt những năm này, hiếm khi thăm hỏi hay an ủi. Ellis nói rằng ông đã học cách đối mặt với những nghịch cảnh của mình vì ông đã "phát triển sự thờ ơ ngày càng tăng đối với sự vô chủ đó". Bệnh tật đã theo Ellis suốt cuộc đời; ở tuổi 40, ông phát triển bệnh tiểu đường.[9]

Ellis đã phóng đại nỗi sợ hãi khi nói trước đám đông và trong thời niên thiếu của mình, anh cực kỳ nhút nhát khi gặp phụ nữ. Ở tuổi 19, đã có dấu hiệu suy nghĩ như một nhà trị liệu nhận thức - hành vi, Ellis đã buộc mình phải nói chuyện với 100 phụ nữ trong Vườn bách thảo Bronx trong khoảng thời gian một tháng. Mặc dù không hẹn hò được nhưng anh cho biết bản thân đã vô cảm trước nỗi sợ bị phụ nữ từ chối.[10]